Unison: Harmonizing Motion, Speech, and Sound for Human-Centric Audio-Video Generation
Unison：人体视频的动作、语音与音效和谐生成框架
🧭 多模态生成 · 动作-音频对齐
通过语义引导的语音-音效解耦和双向跨模态强制策略，实现人体视频中动作、语音和音效的协同生成。
📌 工作参考价值（4 点）
- 语音-音效解耦思想可借鉴用于直播电商中分离主播语音与背景音效，改善音频质量。
- 双向跨模态强制策略可用于对齐商品视频中的动作与声音，提升视频内容的一致性。
- 语义引导的自适应门控机制可应用于多模态推荐中，动态调节不同模态特征的贡献。
- 主要贡献在视频生成学术领域，直接业务应用场景有限。